自我监督学习(SSL)通过利用不需要标签的借口任务来学习有用的归纳偏见。 SSL的未标记性质使得对整个幻灯片组织病理学图像(WSIS)尤为重要,在该图片级的人类注释很难。蒙面自动编码器(MAE)是一种适合数字病理学的SSL方法,因为它不需要阴性采样,并且几乎不需要数据增加。但是,自然图像和数字病理图像之间的域移动需要进一步研究贴片级WSIS的MAE。在本文中,我们研究了组织病理学中MAE的几种设计选择。此外,我们引入了一个多模式MAE(MMAE),该MAE(MMAE)利用了苏木精和曙红(H&E)染色的WSI的特定组成性。我们在公共补丁级数据集NCT-CRC-HE-100K上进行了实验。结果表明,MMAE架构的表现优于监督基线和其他最先进的SSL技术,用于八类组织表型任务,仅利用100个标记的样品进行微调。我们的代码可从https://github.com/wisdomikezogwo/mmae_pathology获得
translated by 谷歌翻译